[2024年9月18日号]個人的に気になったModern Data Stack情報まとめ

[2024年9月18日号]個人的に気になったModern Data Stack情報まとめ

Clock Icon2024.09.18

さがらです。

Modern Data Stack関連のコンサルタントをしている私ですが、Modern Data Stack界隈は日々多くの情報が発信されております。

そんな多くの情報が発信されている中、この2週間ほどの間で私が気になったModern Data Stack関連の情報を本記事でまとめてみます。

※注意事項:記述している製品のすべての最新情報を網羅しているわけではありません。私の独断と偏見で気になった情報のみ記載しております。

Data Extract/Load

Airbyte

Airbyte 1.0のローンチイベントが開催予定

現地時間2024年9月24日に、Airbyte 1.0のローンチイベントが開催予定です。

https://airbyte.com/v1

このイベントに先駆けて、Airbyte公式よりこれまでのAirbyteの歩みをまとめたブログも出ていました。

https://airbyte.com/blog/airbytes-journey-until-1-0

dlt

バージョン1.0をリリース

dltが最新バージョンとして、1.0をリリースしました。

https://dlthub.com/blog/dlt-v1

https://github.com/dlt-hub/dlt/releases/tag/1.0.0

実際にdltを導入している顧客が1000社を越えているようで、関連するブログも出していました。この記事を見ると、「dlt+」というおそらくSaaS版となるプロダクトも提供予定のようですね。

https://dlthub.com/blog/1k-prod-users

Data Warehouse/Data Lakehouse

Snowflake

SNOWFLAKE WORLD TOUR TOKYOが開催

日本時間2024年9月11日~9月12日に、SNOWFLAKE WORLD TOUR TOKYOが開催されました。

https://www.snowflake.com/events/snowflake-world-tour-tokyo/

私も現地参戦したのですが、事前登録者数は5000人超えとのことで、会場も大盛況でしたね!!

弊社でも各セッションのレポートブログを執筆していますので、ぜひご覧ください。

https://dev.classmethod.jp/referencecat/snowflake-world-tour-tokyo/

CCCMKホールディングス社でのTポイント分析基盤の歴史とSnowflakeへ移行した話

@TARO9652512797さんにより、「Tポイント分析基盤の歴史とSnowflakeへ移行した話」というタイトルでCCCMKホールディングス社でのデータ分析基盤の変遷をまとめた記事が出ていました。

オンプレミスのOracleのExadataからSnowflakeに移行するまでの道のりがとても詳細に記述されており、参考になる方も多いと想いますぜひご覧ください。

https://zenn.dev/taro_cccmkhd/articles/64db8363b880d6

https://zenn.dev/taro_cccmkhd/articles/e6b5190b812440

https://zenn.dev/taro_cccmkhd/articles/bd33a8b8eed6fd

OracleからSnowflake移行のSQL非互換対応まとめ

@TARO9652512797さんにより、OracleからSnowflakeに移行する際の非互換である仕様をまとめた記事が出ていました。

OracleからSnowflakeに移行を検討する際に非常に参考になる記事で、大変ありがたいです…

https://zenn.dev/taro_cccmkhd/articles/9ad7f02b058b1a

dbt Semantic LayerのコードをCortex Analyst用のsemantic modelに変換する例

dbt Semantic LayerのコードをCortex Analyst用のsemantic modelに変換するツールの使用例がまとめられた記事が出ていました。

https://medium.com/snowflake/translate-existing-semantic-layers-for-use-by-cortex-analyst-2056edbd4753

Semantic Model GeneratorのStreamlitアプリの中に、内包されているようですね。

2024-09-18_08h28_13

サーバーレスタスクでPythonとJVMの処理がサポートされるように

8.34のリリースで、SnowflakeのサーバーレスタスクでもPythonやJVMを用いた処理が実行できるようになりました。具体的には、UDFやストアドプロシージャが対象となっています。数秒で終わる処理はサーバーレスタスクを用いた方がコストパフォーマンスが基本的に高いので、これは嬉しいですね!!

https://docs.snowflake.com/en/release-notes/2024/8_34

MotherDuck/DuckDB

DuckDB雑紹介(1.1対応版)@DuckDB座談会

「DuckDB雑紹介」というタイトルで、DuckDBの特徴やSQLの独自機能をまとめた資料が出ていました。

とてもわかりやすくまとまっており、DuckDBのことを知りたい方にはぴったりの記事だと思います。

https://speakerdeck.com/ktz/duckdbza-shao-jie-1-dot-1dui-ying-ban-at-duckdbzuo-tan-hui

Data Transform

dbt

The Analytics Development Lifecycle(ADLC)をホワイトペーパーとして公開

dbt Labs社が、「The Analytics Development Lifecycle(ADLC)」という名称でデータ分析基盤の開発ライフサイクルをまとめたホワイトペーパーを公開しました。

https://www.getdbt.com/resources/guides/the-analytics-development-lifecycle

下図はホワイトペーパーからの引用ですが、Software Development Lifecycle(SDLC)のDevOps図に沿って、DataOpsを表現した図となっています。

2024-09-17_09h03_18

Semantic Layer

AtScale

Semantic Layer用のモデリング言語を「SML」としてOSSでリリース

AtScale社が、Semantic Layer用のモデリング言語を「SML(Semantic Modeling Language)」としてOSSでリリースしました。

https://github.com/semanticdatalayer/SML

AtScale社からもブログが出ていました、こちらも併せてご覧ください。

https://www.atscale.com/blog/introduction-to-sml-a-standard-semantic-modeling-language/

Business Intelligence

Looker

24.16のリリースノートが公開

Lookerの24.16のリリースノートが公開されました。

以下の点が気になりました。

  • マップビジュアライゼーションでGoogleマップのみが使えるようになり、従来のレガシーマップが廃止になること
  • IDEの細かなアップデートが多くある(VimやEmacsエディタが使えるようになるらしいです)

https://cloud.google.com/looker/docs/release-notes#September_11_2024

Tableau

Tableau 2024.3がまもなくリリース予定

TableauのComing Soonのページが更新され、2024.3でリリース予定の新機能の情報が公開されました。

ざっと見た感じは、Tableau Pulseの機能拡充を中心に、Tableau Desktop関係はより利便性を高めるための細かな機能追加多いという印象を受けました。

https://www.tableau.com/products/coming-soon

Tableau PrepからAmazon S3に対してデータをParquet形式で出力する方法

rtamaさんにより、Tableau 2024.2の新機能である「Tableau PrepからAmazon S3に対してデータをParquet形式で出力」の機能を試された記事が出ていました。

Parquetはこれまでもデータレイク上の保存形式としてよく使われていますが、昨今はデータレイクハウスで使用する保存形式としても注目を浴びています。使い所は多いと想いますので、ぜひご覧ください。

https://zenn.dev/cavernaria/articles/2a9734d4645566

Sigma

Sigmaの新機能紹介ブログ

Sigmaが新機能をまとめて紹介するブログを公開していました。

個人的には以下の機能が気になりました。

  • 「Data Models」というSigma上でリレーションシップやメトリクスの定義を行える機能
  • dbt Semantic Layerで定義したメトリクスをSigmaで利用する機能

https://www.sigmacomputing.com/blog/product-launch-2024-fall

Omni

ブランチを切った際に参照先のデータベース・スキーマを動的に切り替える機能をリリース

dbtの使用有無を問わず、ブランチを切ったときに動的に参照するデータベース・スキーマを切り替える機能をリリースしました。

2024-09-18_08h36_55

https://omni.co/changelog

Data Orchestration

Astronomer

Astro Observeをプライベートプレビューでリリース

Airflowのマネージドサービスを提供するAstronomerが、Astro Observeという新機能をプライベートプレビューでリリースしました。

機能としては、SLAが守られているかを確認すビューや、依存関係を可視化するダッシュボードなどを提供しているようです。

OSSのAirflowやCloud Composerなどでも利用できる機能とのことです。

https://www.astronomer.io/blog/introducing-astro-observe/

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.